• 专利附录
  • 专利说明
  • 权利要求
  • 类似技术
  • 同族专利
  • 引用文献
  • 法律状态
  • 优先权
    • 专利摘要:
    在影音資料的編碼中，一列表之參考畫面建構來在解碼中使用。預測(方向)模式由n-元組(x0,x1,...,xM-1)定義，其中xm表示為動作向量場m=0,..,M-1之第m個組件之預測選項，其中動作場存在M個組件，其中一編碼選項xm係由動作預測模式與參考畫面索引之所有定義組合所組成之一集合且加上一選項“/”中之一元件，xm□“/”,0,1,...,rm-1}，其中選項“/”表示該組件並未使用，且其他選項0,1,...,rm-1表示rm組合中之一者。提供所有可能n-元組之一子集合且藉由參考該子集合定義用以預測一畫面間編碼區塊之一預測模式。
    公开号:TW201315238A
    申请号:TW101122348
    申请日:2012-06-22
    公开日:2013-04-01
    发明作者:Nikola Sprljan；Marta Mrak
    申请人:British Broadcasting Corp；
    IPC主号:H04N19-00
    专利说明:
    利用參考畫面之影音編碼及解碼方法
    本發明有關於影音編碼及解碼。
    影音序列的傳輸與儲存被利用於包括TV廣播、網際網路影音串流服務與影音會議之許多應用中。
    在原始格式中的影音序列需要一非常大量的資料來進行表示，如一序列之每一秒可以由十個個別畫面(frame)構成，且每一畫面係由典型地至少8位元像素來表示，而每一畫面需要上百或上千的像素。為了縮小傳輸與儲存成本，影音壓縮被使用於原始影音資料。此目標係盡可能的以較少容量來表示原來的資訊，即越少位元越好。需要來表示一影音序列之容量的減少將會影響壓縮序列的影音品質，即其與原來未壓縮影音序列的相似度。
    最新技術之影音編碼器，如AVC/H.264利用四種作業來達到影音壓縮的最高等級，而達到壓縮影音序列之影音品質的一期望水準：預測、轉換、量化與熵編碼。
    預測作業利用影音序列中找到之時間與空間的多餘部分來大量減少需要表示資料的容量。對於編碼器與解碼器而言用來預測資料的機制係已知的，因此僅要一錯誤信號，或殘值(residual)必須要傳送至解碼器來重建原來的信號。此作業典型地係以資料區塊(如8x8像素)進行，而非整個畫面。預測典型地對照已經重建之畫面或屬於相同畫面之像素區塊來進行。對照已經建立之畫面之預測被動作(motion)補償且可以使用在選擇來提供更佳預測之時間形式畫面中指向前或後之動作向量。動作向量本身可以被預測編碼。
    轉換作業目標係發現剩餘信號中呈現的關聯。其藉由將信號的能量集中於幾個係數來執行。因此，此轉換係數典型地比剩餘之像素需要較少的位元來表示。H.264根據離散餘弦轉換(DCT)使用4x4與8x8整數類型轉換。
    對於許多應用而言，在轉換作業之輸出中需要來表示資料的容量可能仍會太高。此外，係不可能去修改轉換作業來為了達到壓縮信號之容量的期望水準。量化作業藉由允許將需要來表示信號之容量的近一步減少來完成。應該注意的是，此程序係破壞性的，即重建之序列將會看起來與原來的不同。相應轉換作業之輸出中信號值的可能範圍被分為區間且指定一量化值。轉換係數接著被根據她們落入的哪一個量化區間來指定量化值。
    熵編碼作業取出所有的非零量化轉換係數且處理他們，以使其被效率地以一位元串流來表示。此需要以一特定順序讀取、或掃描轉換係數來縮小需要來表示壓縮影音序列之容量。
    前述說明應用至一影音編碼器。一影音解碼器將以大體上之反順序執行所有前述作業。特別地，在解碼器端的轉換程序將需要使用編碼器上使用之反轉換。類似地，熵編碼變成熵解碼，且量化作業變成度量化(scaling)。預測作業在編碼器與解碼器上典型地以確切相同方式執行。
    本發明有關於編碼與解碼作業的預測部分。
    動作補償預測的一關鍵面係參考畫面的管理，參考畫面係之前編碼的畫面，其可以被用於其他編碼畫面之預測。
    在一既有設計中，用以動作補償目的之這些參考畫面被安排於列表中，如相應單一畫面預測(P)編碼，也稱為單預測(unipredictive)編碼之例子的一單一列表，或相應兩畫面雙向預測(B)編碼之例子的兩列表。列表通常地參照為L0(列表0)與L1(列表1)。L0與L1的組合決定可以用來預測之參考畫面的選擇範圍，其中由一列表選擇一參考時表示為P預測，而選擇一對組，其中由兩列表之每一者選擇一參考時表示為B預測。注意的是，雙向預測動作補償不僅僅用於由不同時間方向(過去與未來)由畫面預測，更可用來由相同方向由兩參考畫面預測。每一列表內的組成與順序通常在影音位元串流之片斷標頭中以信號表示，其決定用以動作補償之選擇參考畫面中的可用選項。
    根據哪一階段之編碼被執行，參考畫面通常可以藉由在列表L0或L1中之一者中他們的索引(一相同的畫面，如果其存在於兩者，在此兩列表中可以具有一不同的索引)，或藉由他們的圖像序列號(POC)編號，其正常地相應他們準備要被顯示的順序(且不必要被解碼)來進行識別。這裡，為了簡單表示且不需要指定指派索引之一特定規則的目的，他們將被唯一地識別為R refidx 其中refidx=0,...,r-1，其中r係相應特定目前畫面之可用參考畫面的數目。
    接下來，將提供由列表L0與L1選擇畫面之一例子。在L0與L1被限制為每一個有兩元素的例子中，且如果僅有兩參考R0與R1，即r=2，其中以目前畫面來說一個係在過去且另一個係在未來，列表可以被通常地設為L0={0,1}且L1={1,0}(使用前述定義記號，使得列表包含唯一參考索引)。接著，相應動作補償之選擇畫面的作業於第1圖中揭示。對於雙向預測的例子，有4種選擇(=L0中2畫面xL1中2畫面)，而對於單預測僅使用L0，因此有2種選擇。
    對於雙向預測動作補償模式之畫面選擇被一般地標誌，其中先編碼雙向預測或單預測模式的選擇，再相應列表中每一選擇畫面的索引-對於雙向預測先L0再L1，或對於單預測僅L0。如果單預測模式標誌為二進位0，且雙向預測模式標誌為二進位1，相應所有選擇的代號顯示於表格1中。注意的是，兩選擇(“雙向預測-由R0與R1”與“雙向預測-由R1與R0”)係由相同之畫面選擇，僅係不同的順序來構成。
    雙向預測動作可以由兩組件，這裡表示為Mvf 0與Mvf 1，組成之一動作向量(MV)來說明，其中對於一雙向畫面區塊B，可以指定兩動作向量-Mvf 0(B)與Mvf 1(B)。在Mvf 0點的動作向量相應L0中的參考，而Mvf 1點的動作向量相應L1中的參考。
    相較於其預測器，每一動作向量有差異地被編碼。預測器可以以各種方式導出。一常見方法係動作向量競爭(MVC)，也係已知之先進動作向量預測(AMVP)，其中藉由在既定順序中收集之前處理區塊的動作向量來建構一列表之預測器候選者。根據最小編碼成本的準則，編碼器接著選擇預測器中之一者，且在位元串流中傳送其索引(由預測器的列表)。選定預測器與目前編碼之向量的差被接續地在位元串流中編碼。
    接下來，兩例子提供來顯示當選擇動作補償之預測方向時選擇之間的差異，且也協助來介紹導向至本發明之形式化。注意的是，為了以清楚為目的例子中僅考量雙向預測的情形。 例子1
    如第2圖所示，為了預測目前區塊B的動作，可以使用之前處理之不同的鄰居動作向量。在此例子中，由三個鄰居區塊有五個動作向量：Mvf 0(Bup),Mvf 1(Bup),Mvf 0(Bleft),Mvf 1(Bleft)and Mvf 0(Bcorner)。
    動作向量預測通常地適應於動作向量場之目前預測組件，使得相應動作向量Mvf 0(B)，動作向量預測器(MVP)候選者的列表通常與相應動作向量Mvf 1(B)的不同。動作向量預測的此特徵這裡被形式化，其藉由參考這兩個為兩種動作向量預測模式，並標示為相應Mvf 0(B)係M 0，且相應Mvf 1(B)係M 1。一動作預測模式這裡被以指定給他之MVP候選者列表，和列表中候選者的順序的組成來定義。候選者之列表藉由以既定掃描順序掃描動作向量之鄰居區塊來建構。在一列表中動作向量預測器之順序的重要性在於其中用以信號通知相應一預測器之選擇的編碼本(codebook)被建構，使得代碼在長度中以預測器索引的值來增加。這裡，為了更好的編碼效率，較好的預測器應該置放於列表中的較低位置。
    一可能的掃描順序之結果顯示於表格2中。對於M 0僅有動作向量場組件Mvf 0被檢查，對於M 1僅有動作向量場組件Mvf 1被檢查，且對於兩者先檢查區塊Bup，再檢查區塊Bleft。
    可以發現的是，用以預測指向參考R0之Mvf 0(B)的MVP候選者列表係由兩動作向量Mvf 0(Bleft)與Mvf 0(Bcorner)組成，其中前者係位於列表中之第一個位置，而後者係位於列表中之第二個位置。指向參考R0之Mvf 1(B)的列表係空的，表示沒有MV預測發生(或相同地，使用之MVP被設為零)。
    從此表格可以推斷出之前說明之在一不同順序中具有畫面之相同選擇的兩個選項(“雙向預測由R0與R1”與”雙向預測由R1與R0”)將會導致不同的編碼結局，如順序實際上決定動作向量場組件與相應之MVP候選者。 例子2
    在此例子中，一度量化方法被使用，其取指定一參考畫面之一動作向量，且映射其至一些其他的參考畫面。若僅考量Bleft與Bup，對於MVP候選者列表組成，下列八個動作向量可用：Mvf 0(Bup),Mvf 1(Bup),scale(Mvf 0(Bup)),scale(Mvf 1(Bup)),Mvf 0(Bleft),Mvf 1(Bleft),scale(Mvf 0(Bleft))與scale(Mvf 1(Bleft))，如第3圖中揭示。掃描順序的結果顯示於表格3中。
    在參考畫面與相應動作預測模式的選擇可以結合為一畫面間預測方向(IPD)模式。此處，我們定義一IPD模式來以一順序之參考對組來表示，其中映射這些參考至M 0與M 1決定此一對組中的順序。相應一特定IPD模式的一對組被標示如下：
    舉例來說，如果M 0係用以預測指向R0之動作向量且M 1係用以預測指向R1之動作向量，則安排的一對組(模式)係(0,1)。二擇一地，如果M 1係用以預測指向R0之動作向量且M 0係用以預測指向R1之動作向量，則安排的一對組係(1,0)。由於這裡的慣例係使用M 0預測之動作向量係在Mvf 0中編碼，且相等地，使用M 1預測之動作向量係在Mvf 1中編碼，這兩種指定可以交換地使用。
    在不指定索引之一特定順序下，所有的IPD模式可以被標示索引為n=0,...,N-1，其中N係可能的模式數量，且標示為PM n 。每一PM n 被指定一對組，如前所述，相應之前第2圖之例子的可以係(只有雙向預測的情況)：PM0=(0,0),PM1=(0,1),PM2=(1,0)與PM3=(1,1)，如第4圖所示。 例子3
    為了顯示致能IPD模式集合上列表L0與L1的組成的影響，可以提供下列例子。此處為了放重點在時間距離，一不同的符號將被使用，其中參考被以他們的POC編碼來作索引，使得一特定模式被標示為(Pi,Pj)，其中i係用以Mvf 0之參考畫面的POC編碼，且j係用以Mvf 1之參考畫面的POC編碼。此處，考量以三畫面參考，即r=3之編碼，具有POC 0,POC 4與POC 8(標示為P0,P4與P8)之參考，而目前畫面係POC 2(標示為P2)。在其例子中，且如果列表L0與L1係限制於兩個參考之每一者，她們會通常地被定義為：L0={P0,P4}與L1={P4,P8}，其導向至表格4中標示為星號(*)的致能模式。注意的是，這裡九個可能的雙向預測IPD模式中四個被致能。為了致能完整之可能模式的集合，每一列表會需要來包含所有三個參考。
    相應模式揭示於第5圖中。
    如果前述模式以單預測IPD模式擴充，其中對於唯一參考畫面的集合加入一空元件，其指出相應之動作向量場組件不使用，結果致能IPD模式的集合揭示於表格5中。
    注意的是，此對組(/,/)係等同於內預測編碼模式，且不在這裡考量，此模式係通常地在位元串流之不同部位被編碼，然而，一些內預測編碼與畫面間編碼模式之聯合方案的標示可以容易地藉由本發明中呈現之架構來完成。
    單預測模式可以藉由將L0與L1列表以一些既定掃描順序結合為一單一列表來決定，其對於此特定情況導致三種致能單預測IPD模式：(P0,/),(/,P4)與(/,P8)(在表格5中以星號標示(*))。此單預測模式藉由選擇從一列表之起始處開始之每一畫面的第一複本(instance)，且藉由先檢查L0再L1來建構，如第6圖中顯示。
    本發明在於一型態之一編碼影音資料之方法，定義一序列之畫面，使用動作補償之動作預測，方法包括步驟：建構一列表之參考畫面，以於解碼中使用；藉由建構n-元組(x 0,x 1,...,x M-1 )定義預測模式，其中x m 表示動作向量場m=0,..,M-1之第m個組件之預測選項，其中動作場存在M個組件，其中一編碼選項x m 係由動作預測模式與參考畫面索引之所有定義組合所組成之一集合且加上一選項“/”中之一元件，x m {“/”,0,1,...,r m -1}，其中選項“/”表示該組件並未使用，且其他選項0,1,...,r m -1表示r m 組合中之一者；提供所有可能n-元組集合之T n-元組的一子集合；以及藉由參考一該n-元組編碼定義用以預測一畫面間編碼區塊之一預測模式。
    在只有一動作向量預測模式可以用於動作向量場組件m的情況中，藉由參考畫面之選擇可以決定預測選項，且r m 係可以用於動作向量場組件m之參考畫面的數量。
    相較於目前解法，本方法(單獨或與下述較佳特徵一起)提供一數目之重要優點。這些可以透過下述之一目前解法之更細節分析更為了解。
    如前所述，一目前解法定義相應雙向預測動作補償之動作向量對組，使得一動作向量應用至L0之一參考，且另一個應用至L1之一參考。此方法當選擇期望之IPD模式之集合時有一限制的彈性。
    一些限制的例子在預測模式與無效模式間係重複的。
    如第1圖之例子中，當列表被定義為L0={0,1}與L1={1,0}，雙向預測模式(0,1)與(1,0)係相同的偏離事實，該事實係對於每一模式，動作向量預測的掃描可能導致不同的預測器候選者列表。然而，由這些兩模式中之一者給予之額外選項不太可能總是導致編碼增益，有效地使得模式之一者重複。一般地，在基於列表L0與L1之解法中，沒有明確的方法來維持模式之一特定子集合，舉例來說，在此情況中四個可能的雙向預測模式中只有三個。
    一些模式並未充分利用，就某種意義他們極少被解碼器選擇。由於他們擴展編碼本且因此增加平均的代號位元長度，如此對組，就像重複的對組，可以具有在編碼效能上的影響。問題在於不可能在沒有移除一些其他有用的模式之下來移除一無效的模式。
    為了簡要顯示兩列表方案的缺點，考量下述例子。以例子3中定義之列表L0與L1，並未包括於致能模式之集合的模式之一者為(P4,P0)。為了致能此模式，在目前的兩列表方案中，畫面P0可以被加入至L1，使得L0={P0,P4}與L1={P4,P8,P0}，其接著自動地加入一潛在地重覆模式(P0,P0)，如表格6中顯示。
    在另一例子中，在低延遲編碼的情節中，其中只使用最多四個過去的畫面由一單一方向預測畫面，列表可以被定義(使用唯一索引符號)為L0={0,1,2,3}與L1={0,1,2,3}，通常地此導致20或24種模式，即4或8種單預測與16種雙向預測，其許多很可能極少被選擇且一些也許根本沒有被使用。此問題可以藉由參考的安排來輕微地緩和，其將不太可能被使用的模式朝編碼本的末端置放，然而，以此兩列表方法，在沒有重新設計編碼本的情況下一些特定順序係難以達成(藉由代號的最初順序)。
    依據本發明之較佳形式的安排，在IPD模式的致能集合之上達成完整控制；此集合的組成被在位元串流中被信號通知。此避免使用L0與L1列表，且轉變兩列表呈現為IPD模式。反而，此模式被定義於位元串流之標頭部份，且透過編碼器與解碼器之操作來維持。
    本發明的重要型態被概述：其致使選擇參考畫面對組之一最佳集合。舉例來說，藉由由此集合中省略參考畫面之重複對組，或省略編碼器永遠不會考量之對組，一挑選的集合可以被選擇，使得編碼增益最大化。Mvf 0與Mvf 1不關聯L至L0與L1，所以IPD模式可以容易地以一任意數目之動作向量預測模式擴大。
    致能集合被傳送(明確信號通知)，或藉由一些分享演算法(自動衍生)得到。在這兩方法間的選擇本身接著必須被信號通知。
    此概念可以延伸至多重假定動作補償，其中多於2個畫面之動作補償可以使用。在該情況中，n元組取代對組(2元組)被使用，其中n係一單一區塊之動作補償中使用之參考的數目。然而詳細討論係對焦於雙向預測與單預測動作補償。
    編碼本之動態調適可以容易地達成，如模式被唯一地定義。此通常地用來指定更短的代號給更常用的模式，且更長的代號給較少用的模式。內容調適操作也係可能的，如對於不同尺寸的區塊，不同的IPD模式將具有不同的編碼效率。
    為了要能唯一地利用一索引識別每一參考畫面，其中此唯一索引不會對應至L0或L1列表，需要用以指定唯一索引至參考之一方案。此新定義的列表，由以此唯一索引來進行索引之參考畫面組成，在此命名為唯一列表，且標示為LU。當建構LU時，下列步驟跟隨(值得注意的是，儲存在解碼器之一參考畫面可以被標示為一短名稱參考畫面或一長名稱參考畫面)：
    1.短名稱參考畫面以相對目前畫面的POC之增加的絕對POC差來安排，其中如果具有相同絕對差之兩畫面存在，具有較小POC號碼之一者被指定一較小的索引。
    2.長名稱參考畫面被加入且維持他們原來的順序。
    在一具體例子中，相應具有POC值為2之目前畫面(如第6圖中所示)之例子的LU為LU={P0,P4,P8}，以至於R0=P0,R1=P4與R2=P8。如果目前畫面係POC值為6，具有P0,P2,P4與P8為短名稱參考，且具有PL0與PL1為長名稱參考，此列表為LU={P4,P8,P2,P0,PL1,PL1}，以至於R0=P4,R1=P8,R3=P2,R4=P0,R5=LP0與R6=LP1。
    由於有r個參考畫面，可以有最多個r 2雙向預測與2r個單預測畫面間方向模式(N=r 2+2r)。因此，編碼模式為PMn，其中n=0,...,r 2+2r-1。一可能的組態設定顯示於表格7中，其中一些模式被失能，使得N=8，相應下列致能模式的集合(0,/),(0,0),(0,1),(0,2),(1,/),(1,0),(1,1)與(2,/)。
    模式的順序係任意的，但一慣例可以藉由減少決定她們的代號之優先權來安排她們。舉例來說，使用的編碼本可以利用一連鎖一元與固定長度編碼，如表格8所示。
    信號通知模式之致能集合的兩種模式在此處呈現：1)參數化自動衍生，與2)明確的信號通知，其中每一可以具有多種信號通知的類型定義。在所有這些類型間的選擇可以在影音位元串流的高層次部份中完成，舉例來說，對於H.26x家族之影音編譯碼器(codecs)，此可以在一SPS(序列參數集合)訊息中以一旗標集合來定義。
    自動衍生方法導致一排序的模式集合，其類似於一兩列表方法所能得到的結果。舉例來說，其可以以下列步驟進行說明：
    1.單預測模式N u的數目與雙向預測模式N b的數目被傳送。
    2.單預測先被加入，藉由先由LU取頭N u個參考。對於LU之第i個參考，如果其POC值低於目前畫面的，則模式指定係(i,/)。相等地，如果其POC值高於目前畫面的，則模式指定係(/,i)。在N u個模式之後模式的加入被停止。
    3.雙向預測模式以參數k增加的順序被加入，其中k=i+j且由k=0開始。對於k種模式之每一值以參數j減少的順序被加入，由j=k至j=0。(i,/)或(/,j)已經被加入的話，只有模式(i,j)被加入。對於每一模式，如果(j,i)已經被加入，(i,j)不被加入。在N b個模式之後模式的加入被停止。如果少於N b個模式被找到，繼續步驟4。
    4.所有剩餘的雙向預測模式被加入，由左至右由上至下掃描表格，即模式(i,j)依照i增加的順序，且接著依照j增加的順序被加入。在N b個模式之後模式的加入被停止。如果步驟2中的單預測模式的加入導致少於N u模式，繼續步驟5。
    5.如果少於N u個單預測模式，剩餘的單預測模式被加入。無論哪個並未被加入，以i增加的順序，(i,/)或(/,i)被加入。在N u個單預期模式之後模式的加入被停止。
    根據例子3的畫面預測結構，此演算法的結果例子於表格9中提供，其中所有可能的模式被致能。
    可替代的方法可以參數化且藉由根據所有或一些下述因子計算順序來產生模式：
    ‧在一對組中參考畫面之平均權重時間距離
    ‧在一對組中參考畫面之方向
    ‧在一對組中非空項目的數目(偏愛於雙向或單預測模式)。
    在信號通知的明確模式中，一可能的設計選擇係，其後模式的總數目，構成支援對組的參考畫面索引被編碼。一例子在表格10中提出，其編碼表格7中所示之模式集合。模式集合此處係全部以32位元編碼。
    可替代地，整個模式表可以以一既定順序進行掃描，且接著對於每一模式傳送一旗標，其信號通知是否該模式被致能。舉例來說，若同表格7中致能模式的相同情況，此模式表由左至右由上至下被掃瞄，定義完全相同之模式集合的編碼係：000111111101000(15位元)，如表格11中所示。
    類似於參考列表重新排序，為了達到期望的模式排序可以定義一模式重新排序之操作。
    由於參考畫面的的數量可以很大，可以設計出一些可替代的訊號通知。舉例來說，當參考的數目很大時，由於實際模式表可以被期望為稀疏，可以使用一些變動長度編碼的形式。這些可以接著被以對組之有用的順序來掃描，由最有用到最少有用，其中有用性可以由一些規則定義，舉例來說，藉由檢視相應自動衍生之前述規則所產生的順序。
    另一可替代的係以一更高等級來定義對組，且接著由目前部份來參照他。這可以以一選項來完成，藉由使用定義訊號通知為在使用之一旗標。依照本發明之一語法例子將現在開始說明。
    在此語法中：ref_pic_pair_mode表示用以推出在動作補償中使用之對組的方法。
    如果ref_pic_pair_mode等於0，對組如同他們會在平常的兩列表方法(仿效)中的方式產生。
    如果ref_pic_pair_mode等於1，對組被訊號通知於位元串流中。
    如果ref_pic-pair_mode等於2，對組藉由下面前述的自動衍生作業來產生。
    num_ref_idx_mv0_active_minus1表示切片中動作向量場之組件0之由應該要被使用之參考畫面列表之參考的數目。
    如果ref_pic_pair_mode等於0，此語法元件表示用來在此模式中建構對組之主動參考畫面的數目，其仿效兩列表方法。其相等於AVC/H.264中的num_ref_idx_10_active_minus1語法元件。
    如果ref_pic_pair_mode等於1或2，此語法元件表示動作向量場組件0之主動參考畫面的數目，其由唯一參考畫面列表的前面取得。
    如果ref_pic_pair_mode等於1，則其也決定語法元件ref_pic_pair_list[n][0]的位元寬。
    如果目前切片類型為B，num_ref_idx_mv1_active_minus1表示切片中動作向量場之組件1之應該要被使用之參考畫面列表之參考的數目。其跟隨相應num_ref_idx_mv0_active_minus1之說明，而以動作向量場組件1取代動作向量場組件0，且以ref_pic_pair_list[n][1]取代ref_pic_pair_list[n][0]
    num_ref_pair_minus1表示參考對組的數目，如果ref_pic_pair_mode等於1或2時，否則此語法元件不會出現。
    當等於2時num_uni_pair出現，且其表示當在一對組中之元件中之一者不參照一參考畫面時(單一方向的情況)參考對組的數目。
    ref_pic_pair_list[n][0]表示用於參考對組列表之第n個元件之參考畫面索引，使得參考畫面索引被推導為ref_pic_pair_list[n][0]-1。如果等於0，其表示動作向量場元件0並未使用。
    如果目前的切片類型為B，ref_pic_pair_list[n][1]表示用於參考對組列表之第n個元件之參考畫面索引，使得參考畫面索引被推導為ref_pic_pair_list[n][1]-1。如果等於0，其表示動作向量場元件1並未使用。
    ref_pic_list_modification( )係一程序，透過此程序唯一列表中的參考順序可以被修改。
    ref_pic_pair_list_modification( )係一程序，透過此程序對組列表中的對組順序可以被修改。
    當然需要注意的是，此僅為本發明之型態如何可以實作的一例子。
    必須重要注意的是，權重預測也可以在提出的方案中支持。權重預測對於H.264/AVC固有模式應該係簡單易懂的，即根據時間距離計算權重。對於明確信號通知之情況，權重可以編碼於切片標頭，如於H.264/AVC中。在多個權重參數被定義給單一畫面的情況中，藉由平常的參考畫面複製與重新排序之操作，其可以簡單地在切片標頭中定義，且接著此對組被定義於新建立之參考集合。
    注意的是，本案前述實施例僅係為了清楚理解本案原理所提出之實作例子。在大體上不脫離本案之精神與原則內，前述實施例當可做些許變化與更動。所有更動與變化係落於本案之範圍，且透過後附之申請專利範圍所保護。注意的是，此討論應用如切片，且這裡使用之名稱”畫面”可被視為包括切片。
    L0、L1‧‧‧列表
    R0、R1‧‧‧參考畫面
    P0、P2、P4、P8‧‧‧參考畫面
    PM0、PM1、PM2、PM3‧‧‧IPD模式
    第1圖為一示意圖係顯示列表的使用。
    第2圖為一示意圖係顯示動作向量場。
    第3圖係類似第2圖之一示意圖係顯示動作向量的度量化。
    第4圖為一示意圖係顯示預測模式與參考畫面之指派。
    第5圖為一示意圖係顯示具有以畫面順序索引之參考畫面之預測模式。
    第6圖為一示意圖係顯示在雙向預測與單預測模式中列表的使用。
    P0、P2、P4、P8‧‧‧參考畫面
    PM0、PM1、PM2、PM3‧‧‧IPD模式
    权利要求:
    Claims (15)
    [1] 一種編碼影音資料之方法，定義一序列之畫面，使用動作補償之動作預測，方法包括下列步驟：建構一列表之參考畫面，以於解碼中使用；藉由建構n-元組(x 0,x 1,...,x M-1 )定義預測(方向)模式，其中x m 表示動作向量場m=0,..,M-1之第m個組件之預測選項，其中動作場存在M個組件，其中一編碼選項x m 係由動作預測模式與參考畫面索引之所有定義組合所組成之一集合且加上一選項“/”中之一元件，x m {“/”,0,1,...,r m -1}，其中選項“/”表示該組件並未使用，且其他選項0,1,...,r m -1表示r m 組合中之一者；提供所有可能n-元組集合之T n-元組的一子集合；以及藉由參考一該n-元組編碼定義用以預測一畫面間編碼區塊之一預測模式。
    [2] 如申請專利範圍第1項所述之編碼影音資料之方法，其中在只有一動作向量預測模式被允許用於動作向量場組件m的情況中，藉由參考畫面之選擇決定預測選項，且r m 係可以用於動作向量場組件m之參考畫面的數量。
    [3] 如申請專利範圍第1或2項所述之編碼影音資料之方法，其中n-元組在該子集合中被編碼之順序決定相應一既定集合之符號s={s 0,...,s T-1}的映射，其中較短符號較佳地被指定於較低順序的預測模式。
    [4] 如申請專利範圍第2或3項所述之編碼影音資料之方法，其中藉由編碼n-元組之子集合的尺寸來提供T n-元組之子集合，T，接續藉由自動衍生或明確訊號通知每一n-元組，其中x 0,x 1,...,x M-1 被較佳地編碼予每一n-元組，n-元組t，其中t=0,...,T-1，被映射至預測(方向)模式符號s t ，最佳地其中一n-元組產生器藉由根據任一或多個下述因子計算該順序來產生T n-元組：在一n-元組中參考畫面之權重時間距離；在一n-元組中參考畫面之時間方向；以及在一n-元組中不是“/”之項目的數目。
    [5] 如申請專利範圍第1至4項中任一項所述之編碼影音資料之方法，其中藉由將該等預測模式相應目前定義位置之相對移動位置編碼來將該等預測模式重新排序。
    [6] 如申請專利範圍第1至5項中任一項所述之編碼影音資料之方法，其中明確信號通知之n-元組集合被表示於與一影音位元串流之畫面或切片分開的一封包中，且當指明相應目前畫面之一主動集合時參照。
    [7] 一種解碼影音資料之方法，定義一序列之畫面，使用動作補償之動作預測，方法包括下列步驟：建構所有可能n-元組(x 0,x 1,...,x M-1 )之一集合的T n-元組的一子集合，其中x m 表示動作向量場m=0,..,M-1之第m個組件之預測選項，其中動作場存在M個組件，其中一編碼選項x m 係由動作預測模式與參考畫面索引之所有定義組合所組成之一集合且加上一選項“/”中之一元件，x m {“/”,0,1,...,r m -1}，其中選項“/”表示該組件並未使用，且其他選項0,1,...,r m -1表示r m 組合中之一者；以及藉由參考一該n-元組解碼用以預測一畫面間編碼區塊之一預測模式。
    [8] 如申請專利範圍第7項所述之解碼影音資料之方法，其中在只有一動作向量預測模式被允許用於動作向量場組件m的情況中，藉由參考畫面之選擇決定預測選項，且r m 係可以用於動作向量場組件m之參考畫面的數量。
    [9] 如申請專利範圍第7或8項所述之解碼影音資料之方法，其中n-元組在該子集合中被編碼之順序決定相應一既定集合之符號s={s 0,...,s T-1}的映射，其中較短符號較佳地被指定於較低順序的預測模式。
    [10] 如申請專利範圍第8或9項所述之解碼影音資料之方法，其中藉由解碼n-元組之子集合的尺寸來建構T n-元組之子集合，T，接續藉由自動衍生或明確訊號通知每一n-元組，其中x 0,x 1,...,x M-1 被較佳地編碼予每一n-元組，n-元組t，其中t=0,...,T-1，被映射至預測(方向)模式符號s t ，最佳地其中一n-元組產生器藉由根據任一或多個下述因子計算該順序來產生T n-元組：在一n-元組中參考畫面之權重時間距離；在一n-元組中參考畫面之時間方向；以及在一n-元組中不是“/”之項目的數目。
    [11] 如申請專利範圍第7至10項中任一項所述之解碼影音資料之方法，其中藉由將該等預測模式相應目前定義位置之相對移動位置編碼來將該等預測模式重新排序。
    [12] 如申請專利範圍第7至11項中任一項所述之解碼影音資料之方法，其中明確信號通知之n-元組集合被表示於與一影音位元串流之畫面或切片分開的一封包中，且當指明相應目前畫面之一主動集合時參照。
    [13] 一種電腦程式產品，包含指令來導致可編程裝置來實作依據前述方法中任一者之一方法。
    [14] 一種影音編碼器，適應且配置來依照申請專利範圍第1至6項中之任一者來操作。
    [15] 一種影音解碼器，適應且配置來依照申請專利範圍第7至12項中之任一者來操作。
    类似技术:
    公开号 | 公开日 | 专利标题
    US11109050B2|2021-08-31|Video encoding and decoding
    CN105493505B|2019-08-06|统一的帧内块复制和帧间预测模式
    TWI326186B|2010-06-11|System and method for scalable encoding and decoding of multimedia data using multiple layers
    JP2017184266A|2017-10-05|強化されたｃａｂａｃ復号を用いた画像復号装置
    JP2020114013A|2020-07-27|符号化装置、復号装置、符号化方法、復号方法、及びプログラム
    JP6545770B2|2019-07-17|インタ予測方法、復号装置及び映像復号化方法
    JP5855013B2|2016-02-09|映像符号化の方法及び装置
    CN105684441B|2018-09-21|视频和图像编码中的基于散列的块匹配
    JP2015529065A|2015-10-01|スケーラブルビデオコーディングおよび３ｄビデオコーディングのための多重仮説動き補償
    CN102150428A|2011-08-10|用于使用自适应分段的视频编码的系统和方法
    KR20210045387A|2021-04-26|변형 행렬 선택의 계수에 따른 코딩
    US20130259393A1|2013-10-03|Inter reference picture set signaling and prediction on an electronic device
    TW202013974A|2020-04-01|一種用於編碼/解碼視訊資料的方法和裝置
    JP2022008349A|2022-01-13|低減されたメモリアクセスを用いてｆｒｕｃモードでビデオデータを符号化又は復号する方法及び装置
    JP2022508074A|2022-01-19|スキップ及びマージモードのためのマルチ仮説のシグナリング及び動きベクトル差分によるマージの距離オフセットテーブルのシグナリングのための方法及び装置
    US20150350674A1|2015-12-03|Method and apparatus for block encoding in video coding and decoding
    TWI555380B|2016-10-21|利用參考畫面之影音編碼及解碼方法
    JP2017073598A|2017-04-13|動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
    US20200036969A1|2020-01-30|Methods and apparatus for entropy coding and decoding aspects of video data
    CN113497940A|2021-10-12|视频解码方法、装置、计算机设备及存储介质
    GB2512828A|2014-10-15|Method and apparatus for encoding or decoding an image with inter layer motion information prediction
    同族专利:
    公开号 | 公开日
    JP6068019B2|2017-01-25|
    CA2780378C|2019-06-04|
    GB2492337A|2013-01-02|
    CA2780378A1|2012-12-27|
    EP2541940A1|2013-01-02|
    AU2012203688A1|2013-01-17|
    US20120328023A1|2012-12-27|
    JP2013013074A|2013-01-17|
    AU2012203688B2|2017-01-05|
    TWI555380B|2016-10-21|
    GB2492337B|2018-05-09|
    US9094688B2|2015-07-28|
    GB201110902D0|2011-08-10|
    引用文献:
    公开号 | 申请日 | 公开日 | 申请人 | 专利标题
    JPH1174868A|1996-09-02|1999-03-16|Toshiba Corp|情報伝送方法およびその方法が適用される情報伝送システムにおける符号化装置／復号化装置、並びに符号化・多重化装置／復号化・逆多重化装置|
    JP2003050811A|2001-08-07|2003-02-21|Sony Corp|記録装置、記録方法、プログラム、記録媒体および撮像装置|
    JP4015934B2|2002-04-18|2007-11-28|株式会社東芝|動画像符号化方法及び装置|
    JP2004023458A|2002-06-17|2004-01-22|Toshiba Corp|動画像符号化／復号化方法及び装置|
    BRPI0413979A|2003-08-26|2006-11-07|Thomson Licensing|método e aparelho para minimizar o número de imagens de referência usadas para inter-codificação|
    TWI273395B|2005-02-15|2007-02-11|Via Tech Inc|Method of accessing memory for digital audio/video data and device using the same|
    US8130838B2|2005-03-22|2012-03-06|Panasonic Corporation|Encoding device and dynamic image recording system using the encoding device|
    US7787546B2|2005-04-06|2010-08-31|Samsung Electronics Co., Ltd.|Apparatus and method for FT pre-coding of data to reduce PAPR in a multi-carrier wireless network|
    US20070025444A1|2005-07-28|2007-02-01|Shigeyuki Okada|Coding Method|
    TWI299835B|2006-02-08|2008-08-11|Siliconmotion Inc|Memory card with function of video/audio data processing|
    WO2009041215A1|2007-09-25|2009-04-02|Sharp Kabushiki Kaisha|動画像符号化装置及び動画像復号装置|
    CN102668561A|2009-12-17|2012-09-12|瑞典爱立信有限公司|用于视频编码的方法和设备|US9532046B2|2012-04-16|2016-12-27|Qualcomm Incorporated|Reference picture set prediction for video coding|
    US11051010B2|2018-07-18|2021-06-29|Mediatek Inc.|Merge candidates with multiple hypothesis|
    法律状态:
    2020-07-21| MM4A| Annulment or lapse of patent due to non-payment of fees|
    优先权:
    申请号 | 申请日 | 专利标题
    GB1110902.2A|GB2492337B|2011-06-27|2011-06-27|Video encoding and decoding using reference pictures|
    [返回顶部]